❓Как обнаружить и смягчить эффект популярности (popularity bias) в рекомендательной системе
Алгоритмы рекомендаций часто усиливают популярность уже популярных видео — их всё чаще показывают, в то время как новые или нишевые остаются незамеченными. Это создает эффект «богатые становятся богаче».
🔍 Как обнаружить
Посмотрите на логи рекомендаций — если небольшая доля контента получает основную массу показов, это тревожный сигнал. Обычно это «голова» распределения (head), тогда как «хвост» (long tail) игнорируется.
🛠Методы смягчения
• Нормализация метрик (например, watch-time) с учетом числа показов — чтобы не усиливать положительную обратную связь.
• Поддержка длинного хвоста: в механизме отбора кандидатов добавить специальную логику, продвигающую менее популярные видео.
• Умное переупорядочивание (re-ranking): резервировать часть позиций в выдаче для менее популярных видео.
⚠️Важно
• Слишком сильное наказание популярных видео может снизить удовлетворенность пользователя.
• Нельзя наказывать все тематики одинаково: специализированный контент может иметь честно низкие метрики, не из-за предвзятости, а из-за ниши.
❓Как обнаружить и смягчить эффект популярности (popularity bias) в рекомендательной системе
Алгоритмы рекомендаций часто усиливают популярность уже популярных видео — их всё чаще показывают, в то время как новые или нишевые остаются незамеченными. Это создает эффект «богатые становятся богаче».
🔍 Как обнаружить
Посмотрите на логи рекомендаций — если небольшая доля контента получает основную массу показов, это тревожный сигнал. Обычно это «голова» распределения (head), тогда как «хвост» (long tail) игнорируется.
🛠Методы смягчения
• Нормализация метрик (например, watch-time) с учетом числа показов — чтобы не усиливать положительную обратную связь.
• Поддержка длинного хвоста: в механизме отбора кандидатов добавить специальную логику, продвигающую менее популярные видео.
• Умное переупорядочивание (re-ranking): резервировать часть позиций в выдаче для менее популярных видео.
⚠️Важно
• Слишком сильное наказание популярных видео может снизить удовлетворенность пользователя.
• Нельзя наказывать все тематики одинаково: специализированный контент может иметь честно низкие метрики, не из-за предвзятости, а из-за ниши.
Bitcoin is built on a distributed digital record called a blockchain. As the name implies, blockchain is a linked body of data, made up of units called blocks that contain information about each and every transaction, including date and time, total value, buyer and seller, and a unique identifying code for each exchange. Entries are strung together in chronological order, creating a digital chain of blocks. “Once a block is added to the blockchain, it becomes accessible to anyone who wishes to view it, acting as a public ledger of cryptocurrency transactions,” says Stacey Harris, consultant for Pelicoin, a network of cryptocurrency ATMs. Blockchain is decentralized, which means it’s not controlled by any one organization. “It’s like a Google Doc that anyone can work on,” says Buchi Okoro, CEO and co-founder of African cryptocurrency exchange Quidax. “Nobody owns it, but anyone who has a link can contribute to it. And as different people update it, your copy also gets updated.”
Библиотека собеса по Data Science | вопросы с собеседований from cn
